基于KNN的文本分类特征选择与分类算法的研究与改进

【摘要】随着信息技术的迅猛发展和日益普及,文本信息呈现指数级增长。文本分类作为管理大量信息的重要技术,能有效地解决信息混杂的难题,同时能够让用户更准确地检索信息,在信息过滤与检索、邮件分类和话题跟踪等方面有很高的应用价值,是数据挖掘领域的热点技术。本文以提高KNN分类器性能为主要目标,简要阐述文本分类定义、文本预处理、特征选择、特征加权、分类方法和分类性能评估等,并且针对特征选择、特征加权、分类方法进行了深入研究并加以改进。(1)提出了基于蚁群优化算法的特征选择。通过设计适应度函数、转移规则和信息素更新等,可以有效排除关联特征和冗余特征,降低计算的空间与时间,提高计算精度,从而提高分类性能。(2)结合TF-RFIDF对有监督特征加权进行改进。在有监督特征加权方法TF-RF的基础上,将相关性频率(RF)和逆文档频率(IDF)结合,提出TF-RFIDF特征加权法,更好地利用了样本分布和类别先验信息,从而提高文本分类的性能。(3)结合关联规则对KNN分类算法进行改进。该方法利用Apriori算法针对不同类别的训练样本提取每个类别的频繁特征集及其关联的文本,为未知类别的文本确定适当的近邻数k,根据近邻的类别确定未知文本的类别。改进后的方法能够较好地确定k值,并且能降低时间复杂度。实验表明,三个针对文本分类的算法改进都能提高分类正确率,表明了算法的有效性。
【作者】黄娟娟；
【导师】董槐林；
【作者基本信息】厦门大学，计算机软件与理论，2014，硕士
【关键词】文本分类；蚁群优化算法；TF-RFIDF；KNN算法；

【参考文献】
[1]徐硕.基于LabVIEW的节能型低地板车牵引供电及传动系统实时监测系统研究[D].北京交通大学,电气工程（专业学位）,2013,硕士.
[2]董营.气提法去除聚氨酯预聚体中游离TDI[D].天津大学,制药工程,2013,硕士.
[3]耿福亮.《中国武术段位制系列教程》小学一段剑术的教学实践探索[D].山东师范大学,体育（专业学位）,2013,硕士.
[4]张郅婧.《容斋随笔》贤臣形象研究[D].山西师范大学,中国古代文学,2014,硕士.
[5]黄开达.基于VRS技术的外弹道精密测量系统研究[J].舰船电子工程,2014,03:150-152.
[6]陈红婉.味可美公司中国营销本土化研究[D].广东工业大学,2005.
[7]周宏.Cytophaga hutchinsonii纤维素利用及运动相关基因的研究[D].山东大学,微生物学,2014,博士.
[8]赵志云.单层石墨纳米结构中电子自旋输运性质的研究[D].南京大学,2014.
[9]曹冬冬.灰色多重修正模型与GSA-BP模型的建立及在形变预测中的应用[D].长安大学,大地测量学与测量工程,2013,硕士.
[10]王念桥.基于.NET平台的B/S应用系统的开发与研究[D].武汉理工大学,计算机应用技术,2004,硕士.
[11]袁中友.厄尔尼诺和拉尼娜事件与广东省干旱关系探讨[D].华南师范大学,自然地理学,2004,硕士.
[12]梁洪英.汉英比喻比较研究[D].安徽大学,汉语言文字学,2004,硕士.
[13]何清晨.适用于城市通勤的个人电动汽车设计与研究[D].清华大学,设计学,2012,硕士.
[14]石佩斐.基于蒙特卡罗法的螺旋锥齿轮疲劳强度的可靠性分析[D].河南科技大学,机械设计及理论,2014,硕士.
[15]高鑫.基于交通流的重庆市各区县关联网络研究[D].东北师范大学,城市与区域规划,2014,博士.
[16]肖雄,李旦,陈锡锻,李刚.一种基于增广EKF的移动机器人SLAM方法[J].机电工程,2014,01:109-113.
[17]杨小云.社区工作在残疾人家庭支持中的运用研究[D].兰州大学,社会工作,2013,硕士.
[18]孙晓敏.基于买方势力的生产商—零售商合作创新的条件和影响因素研究[D].上海大学,产业经济学,2014,硕士.
[19]张国丽.乌兰巴托中小学汉语教学研究[D].吉林大学,汉语国际教育（专业学位）,2013,硕士.
[20]张辉.TBC公司营销环境分析及目标市场营销策略的制定[D].吉林大学,工商管理,2004,硕士.
[21]王明,陈雨,姜昱竹,邱月.聚丙烯/改性氧化石墨烯纳米复合材料的结构与性能研究[A].中国化学会高分子学科委员会.2011年全国高分子学术论文报告会论文摘要集[C].中国化学会高分子学科委员会:,2011:1.
[22]李莉.登记公示型动产担保物权人权利研究[D].对外经济贸易大学,民商法学,2014,博士.
[23]刘郝静.乙肝病毒对于肝癌细胞DNA双链断裂损伤后修复蛋白CtIP功能的影响[D].华中科技大学,内科学,2013,硕士.
[24]付彦荣.地锦和五叶地锦的种间杂交技术及辐射生物学效应研究[D].中国农业大学,园林植物与观赏园艺,2004,硕士.
[25]鄢璐.叶酸修饰聚（2-乙基-2-噁唑啉）-b-聚己内酯靶向胶束的制备及其在肿瘤治疗中的应用[D].浙江大学,药剂学,2014,博士.
[26]李媛媛.复合纳米二氧化钛材料的制备、表征及光催化性能的研究[D].宁夏大学,应用化学,2014,硕士.
[27]张祖伟.中国城镇职工基本养老保险隐性债务问题研究[D].华中科技大学,社会保障,2013,硕士.
[28]孙震强.FMC的关键——无线融合[J].电信网技术.2006(01)
[29]孙凤梅.工业建筑遗产室内外空间再利用探析[D].山东工艺美术学院,艺术设计,2014,硕士.
[30]丁艳.楔横轧偏心轴模具设计及数值模拟[D].燕山大学,机械制造及其自动化,2014,硕士.
[31]朱晓礼.银行身份认证系统设计与实现[D].山东大学,软件工程（专业学位）,2012,硕士.
[32]李星.车用发动机隔振的仿真研究[D].沈阳理工大学,车辆工程,2012,硕士.
[33]陈飞.长白山数字化管理服务平台建设方案设计[D].吉林大学,工业工程,2013,硕士.
[34]戴琰.优雅简约的具象之美[D].华东师范大学,美术学,2013,硕士.
[35]贺石良.黑龙江省嫩江县“节水增粮行动”水资源保障方案研究[D].吉林大学,水利工程,2014,硕士.
[36]陈振起.混合交通交叉口直行机动车运行特性分析与建模[D].北京交通大学,2009.
[37]张友全.“宅青”生活方式研究[D].黑龙江省社会科学院,社会学,2013,硕士.
[38]RichardB.Primack.THEYANGTZERIVERDOLPHINISEXTINCT:WHATISTHEMESSAGE?[J].植物生态学报,2007,03:544-545.
[39]李俊瑶.县乡财政体制问题研究[D].中共中央党校,国民经济学,2013,硕士.
[40]汪湖泉.我国社会救助法程序价值研究[D].江西财经大学,经济法学,2013,硕士.
[41]赵玥珑.论完善我国“过劳死”的法律规制[D].苏州大学,法律（专业学位）,2014,硕士.
[42]宋云超.气液两相流动相界面追踪方法及液滴撞击壁面运动机制的研究[D].北京交通大学,2013.
[43]崔飞.循环技术的应用和环境规制对循环型企业竞争力影响研究[D].杭州电子科技大学,企业管理,2013,硕士.
[44]杨甲定,赵哈林,张铜会.黄柳与垂柳的耐热性和耐旱性比较研究[J].植物生态学报,2005,01:42-47.
[45]吕影.法律文本中的“国家扶持”[D].苏州大学,法律（专业学位）,2014,硕士.
[46]王金凤.属性敏感性在决策树归纳中的影响[D].河北大学,计算机应用,2003,硕士.
[47]杨阳.幼儿园大班模式教育现状分析[D].河北大学,学前教育学,2014,硕士.
[48]王翠琴.大鼠骨髓间质干细胞神经分化过程中哺乳动物雷帕霉素靶蛋白表达的变化及意义[D].郑州大学,神经病学,2013,硕士.
[49]金小雪.瑞芬太尼对肾脏缺血再灌注损伤Fas凋亡信号通路的影响[D].河北医科大学,麻醉学（专业学位）,2013,硕士.
[50]姜言山.山东省财政支农支出规模效率研究[D].西北农林科技大学,农村与区域发展,2012,硕士.